iT邦幫忙

2025 iThome 鐵人賽

DAY 1
0

前言

在這個世代裡,最夯的幾個詞大概都脫離不了 AI、GPT、大型語言模型(LLM)
這個 30 天系列文章,會先帶大家從 基本的 NLP(自然語言處理) 概念起步,一路走到目前最熱門的 LLM 應用

本系列的宗旨是可以用一個很短的時間去理解各種複雜的名詞,所以每篇文章基本上都可以在短短的 5–10 分鐘內讀完,文章也會不時安排一些 簡單用 Python 可以完成的實作,幫助大家不只理解觀念,讓大家可以更好理解及吸收。所以建議有閒暇時間的朋友,在開始前先安裝自己喜歡的編輯器(或直接用 Colab 也可以),方便後續操作!

啊在開始之前,先來說一下美珠我本人的背景,
本人目前就讀的系所是「語言學研究所」,大學也是非理工科系,開始接觸這些NLP、LLM的領域,其實都是研究所時才開始,所以如果是非理組的朋或是才正想踏入這塊的人,我會用一個最簡單的方式讓你理解複雜的概念,也希望這系列的文章能幫助到你們!
另外,因為語言學的背景,本人對NLP這些領域切入的角度也會不太ㄧ樣,因此或許可以提供給大家不同的視角來了解這個領域!

如果讀到這裡,還覺得有興趣的話,就跟著我開始30 天的旅程吧!

蛤?語言學?那你的主修語言是什麼?

恩,我知道你們在想什麼,這個問題大概是每次我說出我的科系時,絕對會被問的問題 (苦笑)。

語言學(Linguistic)並不是學某一種特定語言,而是分析、了解所有語言的規則、差異與變化,也可以理解成:研究「語言現象」的一門科學。我們通常會從以下幾個面向研究語言:

  1. 語言的聲音
  • 音韻學 (Phonology):研究語音組合的規則。
    • 例如英文單字開頭幾乎不可能出現 /ŋ/(ng 的音),所以不會有 ngat 這樣的英文單詞。
  • 語音學 (Phonetics):研究語音的實際發音方式與部位。
    • 例如在發英文的 /b//p/,嘴型相同,但發出來的聲音卻不一樣,原因是差在聲帶是否有震動

    試著把手放在喉嚨,輪流念「b…p…」,會清楚感受到 b 會震動p 不會。(是不是很酷!!!)

  1. 語言的結構
  • 句法學 (Syntax):研究句子的結構與排列。
    • 例如中文屬於 SVO 結構,而日文是 SOV
  • 構詞學 (Morphology):研究詞的組成與變化規則。
    • 例如英文的前綴可以改變詞義:
      • un- + happy → unhappy(不快樂)
      • re- + write → rewrite(重寫)
  1. 語言的意義
  • 語意學 (Semantics):顧名思義就是研究「意思」,像是一個詞、一個句子 或是一段話 他們的意思是什麼?最小意義單位是什麼?這些都可以拿來做研究。

  • 語用學 (Pragmatics):我們怎麼用語言去「做事」、達成目的,有時候,我們說出來的意思並不等於字面意思,我們如何透過語言讓聽者了解我們想要除達的意思,也是語用學的研究範疇啦!

舉一個簡單的例子:
小美喜歡小王很久了,今天終於鼓起勇氣告白
小美:「我喜歡你,你喜歡我嗎?」
小王:「我覺得你人很好。」
小王看似在已讀亂回,但我猜大家都能了解小王的意思了 xd

以上幾個點比較屬於是理論範疇,語言學的應用方面也很廣,舉個幾個常見的例子:

  • 語言習得:研究我們是如何學習語言的(我們不是一出生就會講話,嬰兒是如何在那麼短的時間內把複雜的語言學起來呢?)
  • 社會語言學:研究就社會現象造成語言使用的差異,例如階級、性別等是否會影響到語言的使用?
  • 歷史語言學:語言的演變,例如:現在講的中文跟過去一樣嗎?
  • 計算語言學:語言學跟程式語言的結合。例如:NLP

自然語言處例(NLP)在幹嘛?
講那麼多語言學的背景,終於要來談NLP是在幹嘛的了 (撒花)

其實概念很簡單,NLP的核心任務就是我們希望電腦可以自然的「理解」、「產出」我們人類的語言。
但這很矛盾吧??
電腦怎麼可能學得起來複雜的人類語言??畢竟語言是具有創造力的,我們每天講的話不可能完完全全跟昨天或前天一模ㄧ樣吧?? 電腦不是只看得懂0或1?

所以所以,我們必須把「語言的規則」交給他,並且加以訓練,讓他至少能抓住語言特定的模式!

規則?有沒有覺得很熟悉?
剛剛前面有說到語言學最主要的一環就是研究語言的規則,這就是為什麼我們會跟自然語言處理息息相關~!

簡單的語學與NLP應用有很多,像是:

  • 語音辨識:結合音韻、語音學,把語音轉成文字。
  • 機器翻譯:同時需要句法、語意知識。
  • 情感分析:從文字中判斷情緒與態度。
  • 假訊息偵測:透過語用學與語意分析辨識潛在的不實資訊。

以上應用都只是 NLP 的冰山一角,有興趣的朋友可以在去網路上挖寶,之後的文章我們也會慢慢介紹更多。

恭喜讀到這邊的你已經半隻腳踏進 NLP 的世界嚕
我們明天見!


下一篇
來碰碰python和資料型態!
系列文
ㄧ個八卦的時間也能了解AI最新趨勢2
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言